Decoy-Calibrated Failure Audits for Language Models
诱饵校准的语言模型失败审计方法
🧭 模型失败审计的可信报告方法 ★ 深度解读
Meta Platforms
提出 Janus 审计规程，用同频随机诱饵校准错误切片提升并强制保留集复现，只报告可信的解释。
📌 工作参考价值（4 点）
- 错误归因可信度评估：在线上模型排查或A/B测试失败归因时，常会提出多个假设切片（如长上下文、特定用户群）。用诱饵地板过滤随机性，再在后续数据上做留出验证，可避免将偶然波动当作系统性失败模式，直接用于电商推荐模型的问题定位。
- 切片发现与报告分离：接受任何来源（领域知识、自动切片挖掘、LLM辅助分析）的候选描述，但只把通过诱饵校准和留出复现的当成正式结论。这一原则可嵌入推荐系统的错误分析pipeline，防止“挖掘即信息”的选择偏误。
- 保留集复现作为门控：留出数据集上的提升与符号一致性检查简单有效，类似模型中上线前的回测或离线验证。对Agent多轮交互的失败模式分析，可以先在小规模定稿集上发现线索，再用新交互数据确认，避免胜者诅咒。
- 工程实现轻量：诱饵只是候选描述符的真值向量随机置换，计算量O(Kn)，几乎无额外推理开销。可直接加在已有的错误统计脚本上，用于定期审计模型质量。